Ông trưởng thành tại Hà Nội và từng theo học các trường Thăng Long, Puginier và Louis Pasteur ở đây. Khi còn rất trẻ, ông đã yêu thích ca hát mặc dù sinh trưởng trong một gia đình thủ cựu.

Trong số 8 người con trong gia đình gồm 1 chị và 7 anh em trai, chỉ có ông và người em là Từ Ngọc Long (hiện đã mất ở Việt Nam) đi theo con đường văn nghệ và trở thành những ca sĩ tên tuổi. Riêng Anh Ngọc có thời gian theo học nhạc lý với nhạc sĩ Tạ Phước và đàn với nhạc sĩ Nguyễn Thiện Tơ và tình cờ bước vào con đường ca hát, khởi đầu từ những năm sau Đệ Nhị Thế Chiến.

Năm 1947, ông vào Huế thăm một người anh làm việc ở đây và lưu lại Huế hơn 1 năm. Trong thời gian này ông được nữ ca sĩ Minh Trang mời hát trên đài phát thanh Huế.

Năm 1949 Anh Ngọc vào Sài Gòn để khởi đầu cộng tác với Đài phát thanh Pháp Á. Sau đó, ông lần lượt được mời hát trong chương trình ca nhạc của Đài Phát thanh Quân đội (thuộc Nha Chiến tranh Tâm lý), Đài phát thanh Sài Gòn, đài Mẹ Việt Nam, Đài Tiếng Nói Tự Do và Đài Truyền hình Việt Nam.

Với đài Sài Gòn, ông còn giữ vai trò xướng ngôn viên, cùng một lúc phụ trách một chương trình ca nhạc lấy tên là "Tiếng Nhạc Tâm Tình" từ đầu thập niên 60 cho đến biến cố tháng 4 năm 75. "Tiếng Nhạc Tâm Tình", từng được nhà văn Mai Thảo nhận xét là "Một chương trình được yêu mến, đợi chờ và tán thưởng nhất trong nhiều năm", được sự cộng tác của các giọng ca sáng chói của nền tân nhạc Việt Nam ở trong thời kỳ vàng son như Thái Thanh, Kim Tước, Mai Hương, Hà Thanh, vv...cùng sự phụ hoạ của một ban nhạc đàn dây gồm những nhạc sĩ tên tuổi.

Một số những nhạc phẩm ghi âm trong thời gian này đã được Anh Ngọc phục hồi bằng kỹ thuật digital để đưa vào 2 CD do ông thực hiện là Trở Về Dĩ vãng và Một Thời Để Nhớ.

Đến năm 1954, sau khi hiệp định Geneve ký kết, với làn sóng di cư ồ ạt vào Nam, phong trào tân nhạc ở miền Nam có một sự bùng phát rất mạnh. Có thể coi đó là thời kỳ vàng son của nền tân nhạc. Cùng thời kỳ này có những chương trình phụ diễn tân nhạc tại các rạp chiếu bóng cùng những đại nhạc hội mà Anh Ngọc có một thời gian đứng ra tổ chức với số khán giả tham dự rất đông đảo.

Và cũng từ đó trở đi, tiếng hát của Anh Ngọc đã trở thành một trong những tiếng hát được ưa thích nhất do "Ngoài việc truyền đạt lời hát một cách rõ ràng và chuẩn xác, còn sử dụng cách luyến láy cũng như phân đoạn câu hát để nói lên ý nghĩa của bài hát, hay nói đúng hơn là những ý nghĩa chứa đựng trong bài hát", như nhận định của nhà khảo cứu âm nhạc người Mỹ, Jason Gibbs, cũng là một quản thủ thư viện ở San Francisco.

Mặc dù được mọi người công nhận là một danh ca, nhưng điều không ai ngờ ca hát không phải là nghề chính của Anh Ngọc, như ông cho biết: "Thực ra ca nhạc đâu phải là nghề của tôi. Nhiều người không biết đến chuyện đó, nên cho là tôi suốt đời hoạt động ca nhạc. Nhưng thực ra không phải. Điều đó người ta không nghĩ ra, tôi cũng không muốn nói đến. Thực ra tôi không phải là một người ca sĩ nhà nghề, đi hát chỉ là chuyện phụ thêm thôi".

Tuy không coi ca hát như phương tiện sinh sống, nhưng ông lại được nhiều nhạc sĩ nổi danh, trong số có Vũ Thành và Phạm Đình Chương, đánh giá là một giọng hát rất nhà nghề. Công việc chính của Anh Ngọc từ sau khi vào Sài Gòn là nhân viên của Sở Thông tin Hoa Kỳ, từ năm 49 cho đến khi ông được gọi động viên vào đầu thập niên 1960.

Trong thời gian quân ngũ, Anh Ngọc phục vụ trong ngành Chiến tranh tâm lý, trong vai trò xướng ngôn viên tại Đài Phát thanh Quân đội. Sau khi giải ngũ, ông làm việc cho đài Tiếng Nói Tự Do, vừa là xướng ngôn viên, vừa tham gia những chương trình ca nhạc phát thanh.

Sau biến cố tháng 4 năm 1975, ông kẹt lại Việt Nam và không tham gia vào bất cứ sinh hoạt ca nhạc nào mặc dù nhiều lần được nhắc nhở.

Năm 1990, Anh Ngọc sang Mỹ theo diện đoàn tụ. Ba năm đầu ông cư ngụ ở Quận Cam. Từ năm 1993, ông cùng gia đình về cư ngụ tại thành phố Burke, tiểu bang Virginia cho đến nay. Tại đây ông không tham gia vào những sinh hoạt văn nghệ mặc dù nhận được rất nhiều lời mời vì không muốn được nhắc nhở nhiều.